条件付き確率 P (X = x | Y = y), P (Y = y | X = x)

ローカルサーチと MCMC

樋口さぶろお

龍谷大学大学院理工学研究科数理情報学専攻

理論物理学特論 L10(2015-12-10 Thu)

最終更新: Time-stamp: ”2015-12-15 Tue 19:31 JST hig”

今日の目標

1 Local search のアルゴリズムを説明できる

2 Metropolis 法によるMCMCの アルゴリズムを 説明できる

3 Bayesの公式が説明できる

http://hig3.net

略解:一般化線型混合モデル

L09-Q1

Quiz解答:一般化線型混合モデル(2項分布・対数リンク・正規分布)

p(y= 1|β₁, s) =

∫ _+∞

−∞ q¹(1−q)⁰ 1

√2πs²e^−r

2 2s2 dr

=

∫ _+∞

−∞

1 1 + e^−(β1+r)

√ 1

2πs²e^−r

2 2s2 dr, p(y= 0|β₁, s) =

∫ _+∞

−∞

1 1 + e^+(β1+r)

√ 1

2πs²e^−r

2 2s2 dr.

β₁= 0 のとき,もちろん p(y = 1|0, s) =p(y= 0|0, s) = ¹₂ となる.

ローカルサーチとMCMC 条件付き確率

ここまで来たよ

1 略解:一般化線型混合モデル

2 ローカルサーチとMCMC 条件付き確率

ベイズの公式

ローカルサーチとMCMC 条件付き確率

同時確率と周辺確率 ( 復習 )

▶ 意味X=xかつY =y

▶ 性質 ∑

x,y

P(X =x, Y =y) = 1

.

周辺分布 P(X=x), P(Y =y).

▶ 定義

P(X=x) =∑

y

P(X =x, Y =y),

P(Y =y) =∑

x

P(X =x, Y =y)

.

▶ 意味Y は問わずX =x,X は問わずY =y.

▶ 性質 ∑

x

P(X =x) = 1, ∑

y

P(Y =y) = 1

ローカルサーチとMCMC 条件付き確率

条件付き確率 P (X = x | Y = y), P (Y = y | X = x)

P(X=x|Y =y) =P(X=x, Y =y) P(Y =y) , P(Y =y|X=x) =P(X=x, Y =y)

P(X=x) .

意味 条件Y =y^のもとでX=x,^条件 X=x^のもとでY =y.

性質1 ∑

xP(X=x|Y =y) = 1,∑

yP(Y =y|X =x) = 1.

性質1’∑

yP(X=x|Y =y)̸= 1,∑

xP(Y =y|X=x)̸= 1.

性質2 ^{定義を通分して},^両辺に ∑

y すると,

P(X=x|Y =y)P(Y =y) =P(X=x, Y =y) P(X=x) =∑

y

P(X=x|Y =y)P(Y =y)

ローカルサーチとMCMC 条件付き確率

L10-Q1

Quiz(条件付き分布)

2次元の離散型確率変数(X, Y)を考える. 同時分布 P(X=x, Y =y) =fXY(x, y) ^{は次の表で与えられる}.

y\x 2 3

3 2/12 1/12

7 5/12 4/12

1 周辺分布 P(X=x), P(Y =y) ^{を求めよう}.

2 条件付き分布 P(X =x|Y = 3), P(Y =y|X= 3)を求めよう.

ローカルサーチとMCMC ベイズの公式

ここまで来たよ

1 略解:一般化線型混合モデル

2 ローカルサーチとMCMC 条件付き確率

ベイズの公式

ローカルサーチとMCMC ベイズの公式

ベイズの公式

P(X=x|Y =y) = P(Y =y|X =x)P(X=x)

∑

xP(Y =y|X =x)P(X=x). P(Y =y|X=x) = P(X =x|Y =y)P(Y =y)

∑

yP(X=x|Y =y)P(Y =y).

P(X=x|Y =y)を P(Y =y|X=x) で書き表す式,およびその逆の式.

ローカルサーチとMCMC ベイズの公式

L10-Q2

Quiz(ベイズの公式)

確率変数 X は値x= 1,2,確率変数Y は値y= 10,20 をとり,

P(X =x) = {3

4 (x= 1)

1

4 (x= 2), P(Y =y|X = 1) =

{7

10 (y= 10)

3

10 (y= 20), P(Y =y|X = 2) =

{2

5 (y = 10)

3

5 (y = 20).

1 同時確率を求めて表に書こう.

2 P(X =x|Y = 10) を求めよう.

ローカルサーチとMCMC ベイズの公式

ベイズ的な考え方

事後確率 P(X=x|Y =y) ←− ^事前確率 P(X=x)

↑ 情報 Y =y 主観確率

ベイズの定理=ベイズの公式(+ニュアンス?)

ローカルサーチとMCMC ベイズの公式

L10-Q3

ローカルサーチとMCMC ベイズの公式

Quiz( ベイズの公式 )

確率変数 X ^は値x= 1,2,^確率変数Y ^は値y= 10,20 ^をとり,

P(X =x) = {3

4 (x= 1)

1

4 (x= 2), P(Y =y|X = 1) =

{7

10 (y= 10)

3

10 (y= 20), P(Y =y|X = 2) =

{2

5 (y = 10)

3

5 (y = 20).

1 同時確率を求めて表に書こう.

2 P(X =x|Y = 10) ^{を求めよう}.

ローカルサーチとMCMC ベイズの公式

L10-Q4

ローカルサーチとMCMC ベイズの公式

Quiz( ベイズの公式 )

外見で区別できない,^品種1(^甘い)^と品種2(^渋い)^{の柿がかごに入って} いる.

品種1は,確率0.95で赤に,確率0.05で黄色になる. 品種2^は,^確率0.125^で赤に,^確率0.875^{で黄色になる}.

確率変数 X, Y ^を用いて,^品種1(^甘い)^をX= 1,^品種2(^渋い)^をX = 2, 赤いを Y = 10,黄色いを Y = 20 と表現する.

1 問題文からP(Y =y|X=x)を読み取ろう.

2 かごの柿の1/5^{が甘い柿であるとする}. ^いま,^無作為に1^{個の柿を取} りだしたところ,赤い柿だった. ベイズの公式を使って,取り出した 赤い柿が甘い確率 P(X= 1|Y = 10)を求めよう.

3 仮にかごの柿の1/5^{が渋い柿であるとする}. ^いま,^無作為に1^個の柿 を取りだしたところ,黄色い柿だった. ベイズの公式を使って,取り 出した黄色い柿が渋い確率を求めよう.